Forwarded from Кибербез образование
Media is too big
VIEW IN TELEGRAM
Кто или что обладает интеллектом? Способен ли ИИ мыслить? Разбираемся с точки зрения философии (АГАсофии) 👨🏫
Эпиграфом к новой беседе с к.филос.н. Атамановым Г.А. я бы выбрал африканскую пословицу: "Чтобы вырастить ребенка, нужна деревня"✍️
Предварительно рекомендую посмотреть беседу о методологии 👩🎓
Таймкоды:
00:13 - Что такое АГАсофия?
03:26 - Ловушка нерелевантных аргументов вокруг ИИ
05:01 - Происхождение термина ИИ
06:21 - Структура методологии обсуждения вопроса
14:11 - Что такое ИИ? Что такое интеллект?
24:31 - Носитель интеллекта
01:06:35 - Подведение итогов беседы
👉 Запись также доступна в VK📺 RuTube 📺 и Яндекс.Музыке 🎵
Презентация по ссылке ⬅️
#подкаст #атаманов #ии
Эпиграфом к новой беседе с к.филос.н. Атамановым Г.А. я бы выбрал африканскую пословицу: "Чтобы вырастить ребенка, нужна деревня"
Предварительно рекомендую посмотреть беседу о методологии 👩🎓
Таймкоды:
00:13 - Что такое АГАсофия?
03:26 - Ловушка нерелевантных аргументов вокруг ИИ
05:01 - Происхождение термина ИИ
06:21 - Структура методологии обсуждения вопроса
14:11 - Что такое ИИ? Что такое интеллект?
24:31 - Носитель интеллекта
01:06:35 - Подведение итогов беседы
👉 Запись также доступна в VK
Презентация по ссылке ⬅️
#подкаст #атаманов #ии
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Russian OSINT
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machine learning Interview
🚀 Релиз от NVIDIA: Llama-Nemotron-Ultra 253B!
Llama-Nemotron-Ultra — модель с 253B параметрами, специально заточенная под задачи reasoning .
📦 Что внутри:
- LLaMA 405B, радикально преобразованная с помощью NAS pruning
- Пост-тренинг с фокусом на reasoning: SFT + RL
- Вычисления в FP8 для производительности без потери качества
- Open weights + открытые данные
🧠 Подходит для сложных задач рассуждения, настройки под кастомные пайплайны и исследований в области AGI.
🔗 Попробовать: https://huggingface.co/nvidia/Llama-3_1-Nemotron-Ultra-253B-v1
#LLM #NVIDIA #OpenWeights #Reasoning #RLHF #FP8 #AIresearch #HuggingFace
@machinelearning_interview - подписаться
Llama-Nemotron-Ultra — модель с 253B параметрами, специально заточенная под задачи reasoning .
📦 Что внутри:
- LLaMA 405B, радикально преобразованная с помощью NAS pruning
- Пост-тренинг с фокусом на reasoning: SFT + RL
- Вычисления в FP8 для производительности без потери качества
- Open weights + открытые данные
🧠 Подходит для сложных задач рассуждения, настройки под кастомные пайплайны и исследований в области AGI.
🔗 Попробовать: https://huggingface.co/nvidia/Llama-3_1-Nemotron-Ultra-253B-v1
#LLM #NVIDIA #OpenWeights #Reasoning #RLHF #FP8 #AIresearch #HuggingFace
@machinelearning_interview - подписаться
Forwarded from Machinelearning
Deep Cogito выпустила семейство языковых моделей размером 3B, 8B, 14B, 32B и 70B параметров, которые уже доступны для загрузки.
По заявлению разработчиков, их модели превосходят аналогичные открытые решения от LLaMA, DeepSeek и Qwen в большинстве стандартных бенчмарков. Например, 70B-версия обходит новую 109B MoE-модель Llama 4, несмотря на меньший размер.
Все модели обучены с помощью метода Iterated Distillation and Amplification (IDA) — стратегии, которая сочетает итеративное самоулучшение и «сжатие» интеллекта для преодоления ограничений, накладываемых человеческим контролем.
Суть IDA проста: сначала модель «усиливает» свои способности, тратя больше вычислительных ресурсов на поиск решений через CoT, а затем «дистиллирует» эти улучшения в свои параметры. Такой цикл повторяется, создавая петлю обратной связи — каждая итерация делает модель умнее, а её мышление эффективнее. По словам команды, этот подход не только масштабируем, но и быстрее, чем RLHF.
Семейство поддерживает 2 режима работы: стандартный (прямой ответ) и «рефлексивный», где система сначала обдумывает запрос, как это реализовано в Claude 3.7. Они оптимизированы для программирования, вызова функций и агентских сценариев, но без акцента на CoT — разработчики считают, что короткие шаги эффективнее в реальных задачах.
Уже в ближайшие месяцы ожидаются версии на 109B, 400B и 671B параметров и вариации с MoE-архитектурой.
Модели доступны на Hugging Face, Ollama и через API Fireworks AI/Together AI.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
New code reasoning LLM fine-tuned from DeepSeek-R1-Distill-Qwen-14B using distributed RL with GRPO+ and iterative context lengthening. Trained on ~24K coding problems (TACO-Verified, PrimeIntellect SYNTHETIC-1, LCB v5), it improves Pass@1 on LiveCodeBench v5 to 60.6%, +7.6% over base and on par with OpenAI o3-mini.
- GRPO+: removes KL/entropy loss for stability; adds offline difficulty filtering, DAPO-inspired loss masking, and reward clipping.
- Iterative context scaling: 16K→32K→64K generalization with improved long-context reasoning.
Eval: Strong results on LiveCodeBench, Codeforces, HumanEval+
Open weights
https://huggingface.co/agentica-org/DeepCoder-14B-Preview
@opendatascience
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from База знаний AI
В Китае применили квантовый компьютер для точной настройки ИИ
Китайские ученые сообщили о том, что первыми в мире использовали квантовый компьютер для точной настройки искусственного интеллекта — большой языковой модели с 1 млрд параметров. Для этого был использован компьютер Wukong китайской компании Origin, основанный на 72 кубитах.
По словам специалистов, система Origin Wukong на 8,4% улучшила результаты обучения ИИ при одновременном сокращении количества параметров на 76%. В частности, ученые продемонстрировали преимущества точной настройки большой языковой модели с помощью квантовой системы в задаче для диагностики психических заболеваний, где число ошибок было снижено на 15%, а также при решении математических задач, где точность выросла с 68% до 82%.
«Это первый случай, когда настоящий квантовый компьютер был использован для точной настройки большой языковой модели в практических условиях. Это демонстрирует, что современное квантовое оборудование может начать поддерживать задачи обучения ИИ в реальном мире», — сказал Чэнь Чжаоюнь (Chen Zhaoyun), исследователь из Института искусственного интеллекта при Национальном научном центре в Хэфэе.
🔗 Источник 1: https://www.scmp.com/news/china/science/article/3305761/first-encounter-chinese-ai-meets-quantum-power-and-gets-smarter-faster
🔗 Источник 2: https://3dnews.ru/1120995/v-kitae-kvantoviy-kompyuter-vpervie-primenili-dlya-tochnoy-nastroyki-ii
Китайские ученые сообщили о том, что первыми в мире использовали квантовый компьютер для точной настройки искусственного интеллекта — большой языковой модели с 1 млрд параметров. Для этого был использован компьютер Wukong китайской компании Origin, основанный на 72 кубитах.
По словам специалистов, система Origin Wukong на 8,4% улучшила результаты обучения ИИ при одновременном сокращении количества параметров на 76%. В частности, ученые продемонстрировали преимущества точной настройки большой языковой модели с помощью квантовой системы в задаче для диагностики психических заболеваний, где число ошибок было снижено на 15%, а также при решении математических задач, где точность выросла с 68% до 82%.
«Это первый случай, когда настоящий квантовый компьютер был использован для точной настройки большой языковой модели в практических условиях. Это демонстрирует, что современное квантовое оборудование может начать поддерживать задачи обучения ИИ в реальном мире», — сказал Чэнь Чжаоюнь (Chen Zhaoyun), исследователь из Института искусственного интеллекта при Национальном научном центре в Хэфэе.
🔗 Источник 1: https://www.scmp.com/news/china/science/article/3305761/first-encounter-chinese-ai-meets-quantum-power-and-gets-smarter-faster
🔗 Источник 2: https://3dnews.ru/1120995/v-kitae-kvantoviy-kompyuter-vpervie-primenili-dlya-tochnoy-nastroyki-ii
Forwarded from Machinelearning
Moonshot AI опубликовала веса Kimi-VL — открытой VLM, которая объединяет обработку текста, изображений и видео. Благодаря архитектуре MoE модель активирует всего 2.8 млрд. параметров в языковом декодере, обеспечивая скорость, сопоставимую с компактными аналогами, и результативность флагманских решений.
Главное преимущество Kimi-VL — способность анализировать длинные контексты до 128 тыс. токенов, что делает её идеальной для работы с объемными документами, длинными видео или сложными мультимедийными задачами.
Основу модели составляет визуальный энкодер MoonViT, оптимизированный для нативной обработки изображений любого разрешения без необходимости разбивать их на части. Это позволяет точно распознавать текст, графики или UI-интерфейсы даже в высокодетализированных скриншотах.
Например, на бенчмарке InfoVQA модель показывает точность 83.2%, обходя даже GPT-4o. В задачах OCR Kimi-VL достигает 86.7% на OCRBench, что ставит её в ряд лучших в индустрии.
Разработчики также представили Kimi-VL-Thinking — версию с расширенными возможностями CoT. Благодаря использованным RL и длительному CoT-тюнингу она демонстрирует впечатляющие результаты в математических и академических задачах: на MathVista точность составила 71.3%, а на MMMU — до 61.7%, что лучше, чем у Gemma-3-12B-IT.
В тестах Kimi-VL превосходит конкурентов в работе с агентами: на OSWorld её результат 8.22% выше, чем у GPT-4o (5.03%), а на WindowsAgentArena — 10.4%. Для длинных видео модель набирает 64.5% на LongVideoBench, подтверждая способность анализировать часовые записи без потери ключевых деталей.
Модели доступны на Hugging Face в двух вариантах:
@ai_machinelearning_big_data
#AI #ML #VLM #KimiAI #MoonShotAI
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Вы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬
Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle.
Что будем делать на вебинаре:
Вебинар будет интересен как новичкам, так и уже опытным специалистам
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Искусственный интеллект. Высокие технологии
Обычно в генерации видео модели обрабатывают весь ролик "размазанным" шумом — как бы в целом.
А тут модель управляет шумом отдельно для каждого кадра, и делает это с помощью векторизованных "timesteps" (временных шагов) — более гибко, точно и эффективно.
Новая модель генерации видео на базе Mochi1-Preview и поддерживает:
🔹 Text-to-Video
🔹 Image-to-Video
🔹 Frame Interpolation
🔹 Video Transitions
🔹 Looping, удлинение видео и многое другое
⚡ Эффективность:
▪ 16× H800 GPU
▪ 0.1k GPU-часов
▪ Обучение: 500 итераций, batch size 32
▪ По заявления разработчиков - стоимость обучения всего 100$ 🤯
▪Github
▪Paper
▪Dataset
▪Model
#diffusion #videogen #pusa #opensource #AI #text2video #mochi1 #fvdm
@vistehno
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from НГУ|NSU
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Rust
✨ Machine Learning na Rust ✨
🔍 Ключевое из статьи The Beginner’s Guide to Machine Learning with Rust:
▪ Rust — безопасный и быстрый: Исключает критические ошибки, дает скорость C/C++
▪ ndarray — аналог NumPy
▪ tch-rs — обертка над PyTorch
▪ linfa — алгоритмы МЛ на Rust
▪ Cargo — для управления проектами
📝 Rust еще рано заменять Python, но уже есть что пощупать 🚀
🔍 Ключевое из статьи The Beginner’s Guide to Machine Learning with Rust:
▪ Rust — безопасный и быстрый: Исключает критические ошибки, дает скорость C/C++
▪ ndarray — аналог NumPy
▪ tch-rs — обертка над PyTorch
▪ linfa — алгоритмы МЛ на Rust
▪ Cargo — для управления проектами
📝 Rust еще рано заменять Python, но уже есть что пощупать 🚀
MachineLearningMastery.com
The Beginner’s Guide to Machine Learning with Rust - MachineLearningMastery.com
In this article, we’ll explore the fundamentals of machine learning in Rust, walk through essential libraries, and build a simple machine learning model.
Forwarded from Китай.AI
🔮 CN-AI-MODELS | ИИ модели Китая
🔥 Huawei представила языковую модель Pangu Ultra на 135 млрд параметров
Компания Huawei представила новую версию своей флагманской модели — Pangu Ultra. Это первая в Китае крупномасштабная языковая модель, полностью разработанная и обученная на отечественных чипах Ascend NPU без использования западных технологий.
Главное достижение:
• Модель (135B) превосходит Llama 405B и Mistral Large 2, соответствуя DeepSeek-R1 при меньшем размере
• Обучалась на 8192 NPU Ascend и 13.2 триллионах токенов с уникальными архитектурными решениями
🔍 Технологические инновации:
Стабильность обучения
• DSSN (Depth-scaled sandwich-norm) – новая архитектура нормализации для глубоких моделей
• TinyInit – революционный метод инициализации параметров
Оптимизация данных
• "Умный" токенизатор с 153,376 токенами (охватывает код, математику, языки)
• Трехэтапное обучение: общие знания → логика → специализация
⚡ Рекордные показатели:
- Поддерживает контекст до 128К токенов (~170 тыс. китайских иероглифов)
- Достигла 50% эффективности использования вычислительных ресурсов (MFU) на кластере из 8192 NPU
Технические детали:
• Гибридный параллелизм: 128DP × 8TP × 8PP + виртуальный конвейер
• Оптимизации системы: MC2, NFA, RoPE-операторы
• Потребление памяти сокращено на 30% за счет общего кэширования
📌 Вывод: Pangu Ultra доказывает возможность создания конкурентных LLM без зависимости от западных технологий, открывая новую эру китайского ИИ.
Технический отчет
#КитайскийИИ #КитайAI #Huawei #LLM #БольшиеМодели
🔥 Huawei представила языковую модель Pangu Ultra на 135 млрд параметров
Компания Huawei представила новую версию своей флагманской модели — Pangu Ultra. Это первая в Китае крупномасштабная языковая модель, полностью разработанная и обученная на отечественных чипах Ascend NPU без использования западных технологий.
Главное достижение:
• Модель (135B) превосходит Llama 405B и Mistral Large 2, соответствуя DeepSeek-R1 при меньшем размере
• Обучалась на 8192 NPU Ascend и 13.2 триллионах токенов с уникальными архитектурными решениями
🔍 Технологические инновации:
Стабильность обучения
• DSSN (Depth-scaled sandwich-norm) – новая архитектура нормализации для глубоких моделей
• TinyInit – революционный метод инициализации параметров
Оптимизация данных
• "Умный" токенизатор с 153,376 токенами (охватывает код, математику, языки)
• Трехэтапное обучение: общие знания → логика → специализация
⚡ Рекордные показатели:
- Поддерживает контекст до 128К токенов (~170 тыс. китайских иероглифов)
- Достигла 50% эффективности использования вычислительных ресурсов (MFU) на кластере из 8192 NPU
Технические детали:
• Гибридный параллелизм: 128DP × 8TP × 8PP + виртуальный конвейер
• Оптимизации системы: MC2, NFA, RoPE-операторы
• Потребление памяти сокращено на 30% за счет общего кэширования
📌 Вывод: Pangu Ultra доказывает возможность создания конкурентных LLM без зависимости от западных технологий, открывая новую эру китайского ИИ.
Технический отчет
#КитайскийИИ #КитайAI #Huawei #LLM #БольшиеМодели
GitHub
pangu-ultra/pangu-ultra-report.pdf at main · pangu-tech/pangu-ultra
Contribute to pangu-tech/pangu-ultra development by creating an account on GitHub.
Come join us this Friday, 18:00 18.04 if you are around Dubai
We are coming together to listen to:
Nik Manolov – CEO of NV Protocol (ENVY), Co-founder and CTO of XOR.ai
🎯Topic: "AI Agents in DeFi & Web3 Trading"
Nikolai will present how automated AI trading agents are reshaping the future of DeFi and Web3. Discover how these agents operate 24/7, adapt trading strategies based on market indicators, and deliver seamless, bias-free trading solutions for both newcomers and experienced investors. Gain insights into the potential of AI-driven financial tools to revolutionize liquidity, asset management, and market efficiency.
🗣Speaker 2:
Boris Chernetsov – Product Manager for AI and Software Development, XPANCEO
🎯Topic: "Integrating LLM Tools in Deep-Tech R&D"
Boris will offer an inside look at how XPANCEO, a deep-tech company developing smart contact lenses, harnesses AI—particularly large language models—to accelerate research and development. He’ll share practical examples of AI’s role in streamlining scientific workflows and innovation pipelines, highlighting the next frontier in merging wearable technologies with advanced AI.
Offline: Limited seating available. Register early to reserve your spot at Daos Hub Dubai
Online: A livestream link will be provided upon registration for those who wish to attend virtually.
Link: https://lu.ma/ODS.aiCommunityMeetup
We are coming together to listen to:
Nik Manolov – CEO of NV Protocol (ENVY), Co-founder and CTO of XOR.ai
🎯Topic: "AI Agents in DeFi & Web3 Trading"
Nikolai will present how automated AI trading agents are reshaping the future of DeFi and Web3. Discover how these agents operate 24/7, adapt trading strategies based on market indicators, and deliver seamless, bias-free trading solutions for both newcomers and experienced investors. Gain insights into the potential of AI-driven financial tools to revolutionize liquidity, asset management, and market efficiency.
🗣Speaker 2:
Boris Chernetsov – Product Manager for AI and Software Development, XPANCEO
🎯Topic: "Integrating LLM Tools in Deep-Tech R&D"
Boris will offer an inside look at how XPANCEO, a deep-tech company developing smart contact lenses, harnesses AI—particularly large language models—to accelerate research and development. He’ll share practical examples of AI’s role in streamlining scientific workflows and innovation pipelines, highlighting the next frontier in merging wearable technologies with advanced AI.
Offline: Limited seating available. Register early to reserve your spot at Daos Hub Dubai
Online: A livestream link will be provided upon registration for those who wish to attend virtually.
Link: https://lu.ma/ODS.aiCommunityMeetup
Forwarded from Speech Info
WavChat: A Survey of Spoken Dialogue Models. Часть 1/4
Сегодня поделимсясуммаризацией главным из большого обзора разговорных ИИ. Сначала он кажется неплохой попыткой систематизировать происходящее в мире ALM: авторы анализируют тренды и на основе существующих публикаций пытаются понять, куда всë идёт и как было бы лучше. Но в какой-то момент статья начинает повторять саму себя. Тем не менее, лучшей попытки осознать происходящее мы не нашли. Давайте разбираться.
Идея объединить аудиомодальность с LLM давно будоражит умы академии и индустрии. Но долгое время никто толком не мог понять, для чего это нужно. Первой значимой попыткой можно назвать Whisper, который заставил seq2seq-модель предсказывать не только ASR, но и перевод.
На диаграмме легко заметить, какой именно момент развития ALM стал переломным и сделал очевидным, что нужно двигаться к разговорным моделям: когда коммьюнити узнало о GPT-4o. OpenAI показали, как аудиомодальность может сделать диалог с LLM естественным, почти бесшовным, решая между делом не только задачи распознавания синтеза, но и, например, классификацию скорости дыхания.
Авторы считают, что всё нужно свести к voice-to-voice диалоговому стеку. Его можно собрать из последовательной работы моделей (ASR-LLM-TTS), сделать end2end или составить из частичных фьюзов отдельных компонент. Трёхстадийный каскад ASR-LLM-TTS при этом предлагается считать бейслайном, о который нужно калиброваться. И побеждать его — учиться понимать особенности речи, воспринимать звуки, уместно отвечать или, наоборот, пропускать реплики.
В статье выделяют девять навыков, которыми должны обладать диалоговые модели:
- Text Intelligence;
- Speech Intelligence;
- Audio and Music Generation;
- Audio and Music Understanding;
- Multilingual Capability;
- Context Learning;
- Interaction Capability;
- Streaming Latency;
- Multimodal Capability.
Всё, что опубликовано по теме диалоговых систем за последний год, авторы предлагают классифицировать по разным признакам:
- Архитектура: end2end- и каскадные модели.
- Способ представления звука: токенизация или энкодер.
- Парадигма тренировки: использовали ли пост-претрейн, какие задачи решали.
- Подход к обеспечению диалоговости: стриминг, симплекс, дюплекс, полудюплекс.
Дальше попробуем пошагово проследить эту классификацию.
Продолжение следует.
Никита Рыжиков❣ Специально для Speech Info
Сегодня поделимся
Идея объединить аудиомодальность с LLM давно будоражит умы академии и индустрии. Но долгое время никто толком не мог понять, для чего это нужно. Первой значимой попыткой можно назвать Whisper, который заставил seq2seq-модель предсказывать не только ASR, но и перевод.
На диаграмме легко заметить, какой именно момент развития ALM стал переломным и сделал очевидным, что нужно двигаться к разговорным моделям: когда коммьюнити узнало о GPT-4o. OpenAI показали, как аудиомодальность может сделать диалог с LLM естественным, почти бесшовным, решая между делом не только задачи распознавания синтеза, но и, например, классификацию скорости дыхания.
Авторы считают, что всё нужно свести к voice-to-voice диалоговому стеку. Его можно собрать из последовательной работы моделей (ASR-LLM-TTS), сделать end2end или составить из частичных фьюзов отдельных компонент. Трёхстадийный каскад ASR-LLM-TTS при этом предлагается считать бейслайном, о который нужно калиброваться. И побеждать его — учиться понимать особенности речи, воспринимать звуки, уместно отвечать или, наоборот, пропускать реплики.
В статье выделяют девять навыков, которыми должны обладать диалоговые модели:
- Text Intelligence;
- Speech Intelligence;
- Audio and Music Generation;
- Audio and Music Understanding;
- Multilingual Capability;
- Context Learning;
- Interaction Capability;
- Streaming Latency;
- Multimodal Capability.
Всё, что опубликовано по теме диалоговых систем за последний год, авторы предлагают классифицировать по разным признакам:
- Архитектура: end2end- и каскадные модели.
- Способ представления звука: токенизация или энкодер.
- Парадигма тренировки: использовали ли пост-претрейн, какие задачи решали.
- Подход к обеспечению диалоговости: стриминг, симплекс, дюплекс, полудюплекс.
Дальше попробуем пошагово проследить эту классификацию.
Продолжение следует.
Никита Рыжиков
Please open Telegram to view this post
VIEW IN TELEGRAM